Generalizability to unseen forgery types is crucial for face forgery detectors. Recent works have made significant progress in terms of generalization by synthetic forgery data augmentation. In this work, we explore another path for improving the generalization. Our goal is to reduce the features that are easy to learn in the training phase, so as to reduce the risk of overfitting on specific forgery types. Specifically, in our method, a teacher network takes as input the face images and generates an attention map of the deep features by a diverse multihead attention ViT. The attention map is used to guide a student network to focus on the low-attended features by reducing the highly-attended deep features. A deep feature mixup strategy is also proposed to synthesize forgeries in the feature domain. Experiments demonstrate that, without data augmentation, our method is able to achieve promising performances on unseen forgeries and highly compressed data.

In this work, we investigate improving the generalizability of GAN-generated image detectors by performing data augmentation in the fingerprint domain. Specifically, we first separate the fingerprints and contents of the GAN-generated images using an autoencoder based GAN fingerprint extractor, followed by random perturbations of the fingerprints. Then the original fingerprints are substituted with the perturbed fingerprints and added to the original contents, to produce images that are visually invariant but with distinct fingerprints. The perturbed images can successfully imitate images generated by different GANs to improve the generalization of the detectors, which is demonstrated by the spectra visualization. To our knowledge, we are the first to conduct data augmentation in the fingerprint domain. Our work explores a novel prospect that is distinct from previous works on spatial and frequency domain augmentation. Extensive cross-GAN experiments demonstrate the effectiveness of our method compared to the state-of-the-art methods in detecting fake images generated by unknown GANs.

Single-frame InfraRed Small Target (SIRST) detection has been a challenging task due to a lack of inherent characteristics, imprecise bounding box regression, a scarcity of real-world datasets, and sensitive localization evaluation. In this paper, we propose a comprehensive solution to these challenges. First, we find that the existing anchor-free label assignment method is prone to mislabeling small targets as background, leading to their omission by detectors. To overcome this issue, we propose an all-scale pseudo-box-based label assignment scheme that relaxes the constraints on scale and decouples the spatial assignment from the size of the ground-truth target. Second, motivated by the structured prior of feature pyramids, we introduce the one-stage cascade refinement network (OSCAR), which uses the high-level head as soft proposals for the low-level refinement head. This allows OSCAR to process the same target in a cascade coarse-to-fine manner. Finally, we present a new research benchmark for infrared small target detection, consisting of the SIRST-V2 dataset of real-world, high-resolution single-frame targets, the normalized contrast evaluation metric, and the DeepInfrared toolkit for detection. We conduct extensive ablation studies to evaluate the components of OSCAR and compare its performance to state-of-the-art model-driven and data-driven methods on the SIRST-V2 benchmark. Our results demonstrate that a top-down cascade refinement framework can improve the accuracy of infrared small target detection without sacrificing efficiency. The DeepInfrared toolkit, dataset, and trained models are available at https://github.com/YimianDai/open-deepinfrared to advance further research in this field.

最近，培训预培训方法在以任务为导向的对话框（TOD）系统中表现出了很大的成功。但是，大多数现有的预培训模型用于TOD专注于对话的理解或对话生成，但并非两者兼而有之。在本文中，我们提出了Space-3，这是一种新型的统一的半监督预培训的预训练的对话模型，从大规模对话CORPORA中学习有限的注释，可以有效地对广泛的下游对话任务进行微调。具体而言，Space-3由单个变压器中的四个连续组件组成，以维护TOD系统中的任务流：（i）对话框编码模块编码对话框历史记录，（ii）对话框理解模块以从任一用户中提取语义向量查询或系统响应，（iii）一个对话框策略模块，以生成包含响应高级语义的策略向量，以及（iv）对话框生成模块以产生适当的响应。我们为每个组件设计一个专门的预训练目标。具体而言，我们预先培训对话框编码模块，使用跨度掩码语言建模，以学习上下文化对话框信息。为了捕获“结构化对话框”语义，我们通过额外的对话注释通过新颖的树诱导的半监视对比度学习目标来预先培训对话框理解模块。此外，我们通过将其输出策略向量与响应响应的语义向量之间的L2距离最小化以进行策略优化，从而预先培训对话策略模块。最后，对话框生成模型由语言建模预先训练。结果表明，Space-3在八个下游对话框基准中实现最新性能，包括意图预测，对话框状态跟踪和端到端对话框建模。我们还表明，在低资源设置下，Space-3比现有模型具有更强的射击能力。

具有对比性学习目标的预训练方法在对话了解任务中表现出了显着的成功。但是，当前的对比学习仅将自调查的对话样本视为正样本，并将所有其他对话样本视为负面样本，即使在语义上相关的对话框中，也会强制执行不同的表示。在本文中，我们提出了一个树木结构化的预培训对话模型Space-2，该模型从有限标记的对话框和大规模的无标记的对话框COLPORA通过半监督的对比度预培训来学习对话框表示。具体而言，我们首先定义一个通用的语义树结构（STS），以统一不同对话框数据集的注释模式，以便可以利用所有标记数据中存储的丰富结构信息。然后，我们提出了一个新颖的多视图分数功能，以增加共享类似STS的所有可能对话框的相关性，并且在监督的对比预训练期间仅推开其他完全不同的对话框。为了充分利用未标记的对话，还增加了基本的自我监督对比损失，以完善学习的表示。实验表明，我们的方法可以在DialogLue基准测试中实现新的最新结果，该基准由七个数据集和四个流行的对话框组成。为了获得可重复性，我们在https://github.com/alibabaresearch/damo-convai/tree/main/main/space-2上发布代码和数据。

具有终身学习能力（LL）能力的质量检查模型对于实用的质量检查应用很重要，据报道，基于架构的LL方法是这些模型的有效实现。但是，将以前的方法扩展到质量检查任务是不平凡的，因为它们要么需要在测试阶段访问任务身份，要么不会从看不见的任务中明确对样本进行模拟。在本文中，我们提出了Diana：一种基于动态体系结构的终生质量检查模型，该模型试图通过迅速增强的语言模型来学习一系列QA任务。戴安娜（Diana）使用四种类型的分层组织提示来捕获来自不同粒度的质量检查知识。具体而言，我们专门介绍任务级别的提示来捕获特定任务的知识，以保留高LL性能并维护实例级别的提示，以学习跨不同输入样本共享的知识，以提高模型的概括性能。此外，我们专用于单独的提示来明确建模未看到的任务，并引入一组及时的密钥向量，以促进任务之间的知识共享。广泛的实验表明，戴安娜（Diana）的表现优于最先进的终身质量检查模型，尤其是在处理看不见的任务时。

沟通效率在加速深神经网络（DNN）的分布式训练中起着重要作用。 All-Reduce是减少分布式DNN培训中模型参数的关键沟通原始性。大多数现有的全减少算法都是为传统的电气互连系统设计的，该系统无法满足大型DNN分布式培训的通信要求。电气互连的有希望的替代方案之一是光学互连，可以提供高带宽，低传输延迟和低功率成本。我们提出了一个称为WRHT（波长重复使用的层次树）的有效方案，用于在光学互连系统中实现全降压操作，该系统可以利用WDM（波长多路复用）来减少分布式数据 - 偏置DNN训练的通信时间。我们进一步得出了最少的通信步骤和通信时间，以实现使用WRHT的全面减少。仿真结果表明，与在光学互连系统中模拟的三种传统的全减少算法相比，WRHT的通信时间分别减少了75.59％，49.25％和70.1％。仿真结果还表明，与电气互连系统中的两种现有的全减速算法相比，WRHT可以将所有还原操作的通信时间减少86.69％和84.71％。

深度学习（DL）模型为各种医学成像基准挑战提供了最先进的性能，包括脑肿瘤细分（BRATS）挑战。然而，局灶性病理多隔室分割（例如，肿瘤和病变子区）的任务特别具有挑战性，并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性，可以实现最不确定的地区的临床审查，从而建立信任并铺平临床翻译。最近，已经引入了许多不确定性估计方法，用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中，我们探索并评估在Brats 2019-2020任务期间开发的公制，以对不确定量化量化（Qu-Brats），并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制（1）奖励不确定性估计，对正确断言产生高置信度，以及在不正确的断言处分配低置信水平的估计数，（2）惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性，所有这些都参与了主要的Brats细分任务。总体而言，我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值，因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。

在学习动作识别中，模型通常预先接受对象识别，例如图像，例如想象成，稍后在与视频的目标动作识别上微调。这种方法造成了良好的经验性能，特别是最近的基于变压器的视频架构。虽然最近许多作品旨在为行动识别设计更先进的变压器架构，但如何训练视频变压器的努力。在这项工作中，我们探索了几种培训范式并提出了两个结果。首先，视频变压器受益于各种视频数据集和标签空间的联合培训（例如，动力学是关注的，而某些东西是以运动为中心的）。其次，通过进一步与图像共同训练（作为单帧视频），视频变换器学习更好的视频表示。我们将这种方法作为用于行动识别的共同培训视频和图像（封面）。特别是，当基于时序形式的架构上的ImageNet-21k上掠夺时，盖子将动力学-400的前1个精度提高2.4％，动力学-600以2.3％，有些东西-V2达2.3％。当以前最先进的较大刻度图像数据集预先磨削时，覆盖覆盖在动力学-400（87.2％），动力学-600（87.9％），动力学-700（79.8％），有些内容达到最佳结果（70.9％），和时刻 - 时间（46.1％），具有简单的时空视频变压器。

在本文中，我们专注于在多源大规模数据上学习有效的实体匹配模型。对于真实应用，我们放松源代码分布/空间或实体身份的典型假设，并提出了一个轻松的多源大规模实体匹配（RMLE）问题。问题的挑战包括1）如何对准源之间的大规模实体来共享信息和2）如何从联合学习多源数据中减轻负转移。更糟糕的是，一个实际问题是两个挑战之间的纠缠。具体地，不正确的对准可能增加负转移;虽然减轻一个来源的负面转移可能导致其他来源的知名度较差，然后降低对准精度。为了处理纠缠挑战，指出关键是基于Pareto正面优化首先优化信息共享，通过表示信息共享显着影响帕累托前部，描绘了负转移的下限。因此，我们提出了一种激励兼容的帕累托对准（ICPA）方法，首先基于Pareto正面优化优化跨源对准，然后减轻在优化的对准上约束的负转移。这种机制呈现每个来源可以根据其真实的偏好来学习，而无需担心恶化的其他来源的表示。具体地，帕累托前线优化促使最小化负转移的下限，这优化了是否对齐。提供了四个大型数据集的综合实证评估结果，以证明ICPA的有效性和优越性。搜索广告平台的在线A / B测试结果还展示了ICPA在生产环境中的有效性。